Dion3: Full-Stack Orthogonal Updates
Dion3：Muon 优化器全栈正交更新加速
🧭 Muon 优化器全栈加速与分布式优化 ★ 深度解读
New York University · Princeton University · NVIDIA · Yale University · Microsoft Research
提出 Gram Newton-Schulz、对称 GEMM 核、分数行选择更新和 megabatching，将 Muon 优化器步时最多降低 6 倍且保持/提升模型质量
📌 工作参考价值（4 点）
- Gram Newton-Schulz 可作为标准 Newton-Schulz 的 drop-in 替换，在权重矩阵 aspect ratio 高（如 MLP/MoE 权重）时显著减少 FLOP，适合推荐/广告模型中常见的宽矩阵，无需改变训练流程。
- 分数行选择 + error feedback 是实用的加速技巧：每次只正交化动量矩阵中 ℓ1 范数最大的 f 行，学习率按 η/√f 缩放，在资源受限时可将优化器计算量降低约 1/f²，且不损害甚至轻微提升模型质量。
- Megabatching 策略对 FSDP 下的通信优化很有价值：按矩阵形状分组做 all-to-all，减少通信轮次至 O(1)，在中小模型通信瓶颈场景（如 1B 模型 8 卡）可降低 35% 优化器步时，值得工程实现借鉴。
- 自定义对称 GEMM 核（CuteDSL）利用对称性只计算下三角并复制到上三角，在 Hopper/Blackwell 上获得近 2× 速度，适合集成到训练框架中以加速大量对称矩阵乘法。